ACLArena: Agent Continue Learning in Multi-stage Post-training
ACLArena：多阶段后训练中的 Agent 持续学习
🧭 Agent 多阶段后训练与持续学习 ★ 深度解读
University of California, Los Angeles · University of California, Santa Cruz
构建多阶段 Agent 后训练基准，诊断遗忘机制并融合 SDFT 与 LoRA-RL 专家路由，缓解跨阶段能力遗忘
📌 工作参考价值（4 点）
- 做多阶段 agent 训练（如搜索问答、电商客服、工具调用）时，先 SFT 冷启动任务接口与行为格式，再用 RL/蒸馏精化；不要用 SFT 恢复旧能力，其参数更新幅度是 RL 的 3-7 倍，容易覆盖相邻阶段能力。
- 多教师 on-policy 蒸馏可采用 MOPD：对低熵 token 用 reverse KL 精确模仿，对高熵决策 token（选 query、工具调用）切换 forward KL 并 top-q 截断，能避免 agentic 任务中熵坍塌和训练发散；多域 teacher 按 domain tag 路由，不要平均 logits。
- 多领域电商/搜索 agent 可采用 MLE 架构：共享一个 SDFT 主干，每个领域（搜索、交易、客服）训练独立 LoRA adapter + RL，推理按环境上下文路由；参数隔离减少跨域遗忘，增量成本低、部署统一。
- SDFT 轨迹蒸馏时必须 balanced-mix 而非按数据量随机混，防止高量任务淹没低资源领域；轨迹过滤需检查 final reward、工具调用合法性、协议合规并做近似去重。